Loading [MathJax]/jax/output/HTML-CSS/jax.js

实、复内积空间 与 奇异值分解、广义逆

实内积空间

  • 定义:设 V 是实数域 R 上的线性空间,如果对 V 中任意向量 αβ,在 R 中都有唯一的实数与之对应,记作 (α,β),并对任意的α,β,γV,kR,这对应具有性质:
    • (1)(α,β)=(β,α)
    • (2)(kα,β)=k(α,β)
    • (3)(α+β,γ)=(α,γ)+(β,γ)
    • (4)(α,α)0 当且仅当 α=0(α,α)=0
    • 则称这对应是 V 的一个内积,具有这种内积的线性空间称为实内积空间或欧几里得(Euclid)空间
  • 例如:在线性空间 Rn 中,对于向量 α=(a1,a2,,an),β=(b1,b2,,bn),定义 (α,β)=a1b1+a2b2++anbn. 容易验证 (α,β) 是空间 Rn 的一个内积,Rn 是一实内积空间(常用的内积定义)

  • 又例如:设 C[a, b] 是 [a, b] 上实连续函数构成的线性空间,对于 f(x), g(x),定义 (f(x),g(x))=baf(x)g(x)dx,是空间 C[a, b] 的一个内积,因而 C[a, b] 是一个实内积空间

实内积空间 V 中的内积具有的基本性质:

  • (1)(α,kβ)=k(α,β)
  • (2)(α,β+γ)=(α,β)+(α,γ)
  • (3)(α,0)=(0,β)=0
  • (4)$(\sum\limits_{i=1}^m k_i\alphai, \sum\limits{i=1}^n l_j\betaj) = \sum\limits{i=1}^m\sum\limits_{j=1}^n k_i l_j(\alpha_i, \beta_j)$

  • 定义:设 α 是实内积空间的一个向量,则称非负实数 (α,α) 是向量 α 的长度,记作 |α|=(α,α)

|α|=1,则 α 称为单位向量;|α|=0 的充要条件是 α 是零向量

  • 定理:对实内积空间 V 中任意两个向量 α,β,恒有不等式 |(α,β)||α||β|(柯西-彭雅斯基不等式)成立. 即,当 α,β 线性相关时,|(α,β)|=|α||β|;当 α,β 线性无关时,|(α,β)|<|α||β|

  • 定义:设 α,β 是实内积空间的两个非零向量,则 αβ 的夹角 θ 的余弦规定为 cosθ=(α,β)|α||β|

  • 定义:设 α,β 是实内积空间的两个向量,若 (α,β)=0,则称 αβ 正交. 记作 αβ

两个非零向量正交的充要条件是它们之间的夹角 θ=π2
规定零向量与任意向量正交

  • 定义:设 α1,α2,,αn 是n维实内积空间 V 的基,若它们都是单位向量,而又两两正交,即 $$(\alpha_i, \alphaj) = \delta{ij} = {0,ij 1,i=j$$ 则称 $\alpha_1, \alpha_2, …, \alpha_n$ 是 V 的标准正交基

  • 例如:n维实内积空间 Rn 中的自然基 e1=(1,0,,0),e2=(0,1,,0),,en=(0,0,,1) 就是一组标准正交基

  • 定理:设 α1,α2,,αm 是实内积空间 V 中两两正交的非零向量,且 |αi|=1(i=1,2,,m),则 α1,α2,,αm 线性无关,而且对于 V 中任意向量 α,向量 β=α(α,α1)α1(α,α2)α2(α,αm)αm 正交于每一个 αi(i=1,2,,m)

  • 定理:设 α1,α2,,αn 是n维实内积空间 V 的任意基,则必存在 V 的标准正交基 γ1,γ2,,γn,使 α1,α2,,αnγ1,γ2,,γn 的过渡矩阵是三角形矩阵,即 $\gammai = a{i1}\alpha1 + a{i2}\alpha2 + … + a{ii}\alpha_i(i = 1, 2, …, n)$

  • 定理:设 e1,e2,,en 是实内积空间 V 的一组标准正交基,而且 (f1,f2,,fn)=(e1,e2,,en)Q,则 f1,f2,,fn 是 V 的标准正交基的充要条件是,Q具有性质 QTQ=E

若方阵满足 QTQ=E,则称Q是正交矩阵. 显然其行列式为 ±1
Q是 mn 矩阵,若 QTQ=E,则称Q是具有标准正交列的矩阵

  • 定义:设 V 与 W 是两个实内积空间,如果存在 V 到 W 的 1-1 而且映上的映射 σ,并且对于任意的 α,βV,kR,具有性质:
    • (1)σ(α+β)=σ(α)+σ(β)
    • (2)σ(kα)=kσ(α)
    • (3)(σ(α),σ(β))=(α,β)
    • 则称 σ 为 V 到 W 的同构映射,而称 V 与 W 同构,记作 VW
  • 定理:两个有限维实内积空间同构的充要条件是它们的维数相等

  • 定义:设 V1,V2 是实内积空间 V 的两个子空间,若对任意的 αV1,βV2,恒有 (α,β)=0,则称 V1V2 互为正交,记作 V1V2. V 中的一个向量 α,若对任意的 βV1,恒有 (α,β)=0,则恒称 αV1 正交,记作 αV1

  • 定理:若子空间 V1,V2,,Vs 两两相交,则 V1+V2++Vs=V1V2Vs

  • 定义:设 V1,V2 是实内积空间 V 的两个子空间,若 V1V2,且 V=V1+V2,则称 V2V1 的正交补

  • 定理:n维实内积空间 V 的每一个子空间 W 都有唯一的正交补

子空间 W 的正交补用 W 表示

  • 推论:W 是所有与 W 正交的向量组成的,即 W=xV|xW

实内积空间的线性变换

  • 引理:设 ψ 是n维实内积空间 V 到实数域 R 的一个同态映射,则 V 中存在一个唯一向量 β,使对任意 αV,有 ψ(α)=(α,β)

  • 定理(共轭变换的存在定理):设 σ 是n维实内积空间 V 的线性变换,则存在 V 的唯一线性变换 $\sigma^{}使\alpha, \beta \in V(\sigma(\alpha), \beta) = (\alpha, \sigma^{}(\beta))V\sigmaA\sigma^{*}A^T$

  • 定义:设 σ 是n维实内积空间 V 的线性变换,如果存在 V 的线性变换 $\sigma^{}使V\alpha, \beta(\sigma(\alpha), \beta) = (\alpha, \sigma^{}(\beta))\sigma^{}\sigma$ 的共轭变换*伴随变换

当 V 为有限维时,它的每一个线性变换都有唯一的共轭变换

共轭变换的基本性质:

  • (1)$(\sigma^)^ = \sigma$
  • (2)$(\sigma + \tau)^ = \sigma^ + \tau^*$
  • (3)$(k\sigma)^ = k\sigma^$
  • (4)$(\sigma \tau)^ = \tau^ + \sigma^*$

  • 定义:设 σ 是n维实内积空间 V 的一个线性变换,若对任意 α,βV(σ(α),σ(β))=(α,β),则称 σ 是 V 的一个正交变换

  • 定理:设 σ 是n维实内积空间 V 的一个线性变换,则以下提法等价:

    • (1)σ 为正交变换
    • (2)$\sigma^\sigma\sigma^ = \sigma^{-1}$
    • (3)σ 在任意标准正交基 e1,e2,,en 下的矩阵A为正交矩阵,即 AT=A1
    • (4)σ 把标准正交基仍变为标准正交基
    • (5)σ 保持向量的长度不变,即对 αV,|σ(α)|=|α|

设正交变换在标准正交基下的矩阵为正交矩阵A,显然 detA=±1.
detA=1,则称 σ 为旋转,或为第一类的
detA=1,则称 σ 为第二类的

  • 定义:设 σ 是n维实内积空间 V 的一个线性变换. 若对 V 中任意向量 αβ(σ(α),β)=(α,σ(β)),则称 σ 是 V 的一个对称变换

  • σ 是 V 的对称变换,则以下提法等价:

    • (1)σ 是对称变换
    • (2)σ=σ
    • (3)σ 对任意一组标准正交基 e1,e2,,en 的矩阵是实对称矩阵
  • 定义:设 σ 是n维实内积空间 V 的一个线性变换. 若对 V 中任意向量 α,β(σ(α),β)=(α,σ(β)),则称 σ 是 V 的一个反对称变换

  • σ 是 V 的反对称变换,则以下提法等价:

    • (1)σ 是反对称变换
    • (2)σ=σ1
    • (3)σ 对任意一组标准正交基 e1,e2,,en 的矩阵是实反对称矩阵
  • 定义:设 W 是n维实内积空间 V 的子空间,因而 V=WW,即 V 中每个向量 X 都可唯一分解成以下形式:X=Y+Z(YW,ZW) 若映射 σ:VW 定义为 σ(X)=Y,则称 σ 是 V 到 W 的一个正交投影变换. Y 称为向量 X 在子空间 W 上的正交投影或内射影,而 |Z| 称为向量 X 到子空间 W 的距离

若线性变换 σ 满足 σ=σ2,σ=σ,则 σ 是正交投影变换

  • 定理:设 αV,则 W 中向量 βα 在子空间 W 上的内射影的充要条件是,对任意 ξW,有 |αβ||αξ|

  • 定理:推广集合空间中点到直线或平面“垂线最短”的命题. 此几何事实可用于解决最小二乘问题

  • 定理:(1)x0Ax=b 的最小二乘解的充要条件是 x0ATAx=ATb 的解. (2)若 A 是满列秩矩阵,则 Ax=b 的最小二乘解为 x0=(ATA)1ATb

实对称矩阵的标准形

  • 引理:设 σ 是n维实内积空间 V 的对称变换,则 σ 的特征根都是实数

  • 引理:设 W 是n维实内积空间 V 的对称变换 σ 的一个不变子空间,则 W 的正交补 W 仍为 σ 的不变子空间

  • 引理:设 σ 是n维实内积空间 V 的对称变换,则 V 中属于 σ 的不同特征根的特征向量正交

  • 定理:设 σ 是n维实内积空间 V 的对称变换,则必存在一组标准正交基,使 σ 对这组基的矩阵是实对角形矩阵

复内积空间

  • 定义:设 V 是复数域 C 上的线性空间,如果对 V 中任意向量 αβ,在 C 中都有唯一的复数与之对应,记作 (α,β),并且这对应满足以下条件 (kC,α,β,γV)
    • (1)(α,β)=¯(β,α)
    • (2)(kα,β)=k(α,β)
    • (3)(α+β,γ)=(α,γ)+(β,γ)
    • (4)(α,α)0,当且仅当 α=0 时,(α,α)=0
    • 则这对应称为 V 中的一个内积,具有内积的线性空间称为复内积空间酉空间
  • 例如(通常定义的内积):在线性空间 Cn 中,对于向量 α=(a1,a2,,an)β=(b1,b2,,bn),定义 (α,β)=a1¯b1+a2¯b2++an¯bn,为 Cn 的一个内积,Cn 是一个复内积空间

复内积空间 V 中的内积的基本性质:

  • (1)(α,kβ)=¯k(α,β)
  • (2)(α,β+γ)=(α,β)+(α,γ)
  • (3)(α,0)=(0,β)=0
  • (4)$(\sum\limits_{i=1}^m k_i \alphai, \sum\limits{j=1}^n l_j \betaj) = \sum\limits{i=1}^m \sum\limits_{j=1}^n k_i \overline{l_j}(\alpha_i, \beta_j)$

非负实数 (α,α) 称为向量 α 的长度,记作 |α|
柯西-彭雅可夫斯基不等式仍然成立:对任意向量 αβ(α,β)(β,α)(α,α)(β,β)
非零向量 αβ 的夹角 θ 规定为 cos2θ=(α,β)(β,α)(α,α)(β,β)
非零向量 αβ,如果 (α,β)=0,那么称 αβ 正交(可与实内积空间一样定义标准正交基)

矩阵 $Q{nn}Q^HQ = E$,则称 Q 为*酉阵
若 $U = U
{m*n}U^HU = E$,则称 U 是具有标准正交列的矩阵

复内积空间中有类似的共轭变换埃尔米特变换酉变换对应实内积空间的共轭变换、对称变换和正交变换,线性变换 σ 在标准正交基下的矩阵A,σ对应变换在此基下的矩阵分别为共轭转置矩阵、埃尔米特矩阵和酉阵

  • 定义:设 σ 是n维复内积空间的线性变换,若 $\sigma\sigma^ = \sigma^\sigma\sigma$ 称为正规变换正规算子. 类似的,设 $A \in C^{nn}AA^H = A^HA$,则 A 称为*正规矩阵

  • 定理:设 σ 是正规变换,则

    • (1)σ(α)=0 的充要条件是 σ(α)=0
    • (2)σλI 是正规变换
    • (3)σ 的任何特征向量也是 σ 的特征向量
    • (4)σ 的属于不同特征根的特征向量是正交的
    • (5)若 W 是 σ 的不变子空间,则 W 仍是 σ 的不变子空间
    • (6)必存在一组标准正交基,使 σ 对这组基的矩阵是对角阵

矩阵的奇异值分解与广义逆

  • 定理:设 ACmnrank(A)=r,则 AAHAHA 各有r个正的特征值,而且对应相等

  • 定义:设 $A \in C^{mn}rank(A) = rA^HA\lambda_1 \geq \lambda_2 \geq … \geq \lambdar > \lambda{r+1} = … = \lambda_n = 0\mu_i = \sqrt{\lambda_i}(i = 1, 2, …, n)$ 是 A 的奇异值,其中 μ1,,μr 称为 A 的*正奇异值

埃米尔特矩阵的奇异值恰是其特征值的绝对值

  • 定理:设 A,BCmn,若 A 与 B 酉等价,则 A 与 B 有相同的奇异值

A 与 B 酉等价,即存在两个酉阵 S 和 T,使 B = SAT

  • 定理(奇异值分解定理):设 $A \in C^{mn}, rank(A) = rA\mu_1 \geq \mu_2 \geq … \geq \mu_r > 0mUnV使U^HAV = Δ0 00 = D \in C^{mn}\Delta = diag(\mu_1, \mu_2, …, \mu_r)$

A=UDVH 时称这个分解为 A 的奇异值分解

  • 定理:设 ARmn,rank(A)=r,若 A 的正奇异值按降序排列为 μ1μ2μr>0,则存在m阶正交矩阵P和n阶正交矩阵Q,使 PTAQ=Δ0 00,其中 Δ=diag(μ1,μ2,,μr)

  • 定义:设 ACmn,若存在矩阵 X,使得 AXA=A,XAX=X,AX=(AX)H,XA=(XA)H(Penrose方程),则称 X 是 A 的广义逆矩阵

  • 定理:设 ACmn,rank(A)=r,则 A 的广义逆矩阵存在并且唯一,当 A=UΔ0 00VH 为 A 的奇异值分解时,A 的广义逆矩阵 A+A+=VΔ10 00U

A+ 具有以下性质:

  • (1)(A+)+=A,(AH)+=(A+)H
  • (2)A1 存在时,A+=A1
  • (3)A+=(AHA)+AH=AH(AAH)+
  • (4)(AHA)+=A+(AH)+
  • (5)设 AH=A,A2=A,则 A+=A
  • (6)AA+A+A 均为半正定埃米尔特矩阵
  • (7)rank(A)=rank(A+)=rank(A+A)=rank(AA+)
  • (8)设 ACmn,则 rank(A)=mrank(EmAA+)=nrank(EnA+A)

  • 定理:设线性方程组 Ax=b 有解,则它的全部解可表示为 x=A+b+(EnA+A)α(α 为任意n维列向量)

  • 定理:线性方程组 Ax=b 的全部最小二乘解为 ξ=A+b+(EnA+A)α(α 为任意n维列向量)


引用

  1. 《高等代数与解析几何》,王心介,科学出版社